Theo Đại Việt thông sử của Lê Quý Đôn, bà là người làng Bái Đê, huyện Lôi Dương (nay là làng Bái Đô, xã Xuân Bái, huyện Thọ Xuân, Thanh Hóa). Bà sinh ra Quận vương Lê Tư Tề, con trai trưởng của Lê Lợi[2]. Dân gian kể rằng, bà Ngọc Lữ là con nhà hào trưởng, lấy Thái Tổ năm 20 tuổi, năm sau hạ sinh Tư Tề, và sau đó là một người con gái đặt tên là Đào Nữ[3].